Control visual basado en ROS de un robot de manipulación UR10.

Robotics is a technological branch that is currently booming, especially in industrial applications and research. The industrial and collaborative robots appeared because the industry increasingly needs more robotic processes, such as performing repetitive movements with great precision or carrying heavy weights, to avoid physical problems in workers. Vision systems are used to control the robot in an unstructured environment, thanks to obtaining visual information from the environment in real time. These perception-based systems are more robust to imprecise calibrations. The main objective of the work is to perform various visual servoing methods for the UR10 robot, of the Campero robot, equipped with a realsense camera. In particular, we consider position-based, image-based and hybrid visual controller. The position-based visual controller, PBVC, needs good calibration and allows precise control in Cartesian space. The image-based visual controller, IBVC, is robust to imprecise calibrations, is computationally efficient and uses the image space. The hybrid visual controller, HVC, is partially based on position and on image, so it combines 2D and 3D information, and has the advantages of PBVC and IBVC, avoiding its drawbacks. The main result is the implementation of a set of algorithms capable of driving the robot in real time to the desired position by using vision-based information provided by the camera mounted on the robot hand. The visual servoing algorithms development involves the implementation of a control law to compute the velocity of the robot’s joints by using the inverse kinematic model. The controllers are developed both in simulation, using the Gazebo tool, and in the real robot and we verify them by conducting tests in both environments. We have used ROS, the MoveIt framework, Gazebo, Rviz, ArUco markers and the RGB-D Realsense D435 camera to achieve the objectives. The programming languages used are Python and C++. The visual servoing methods have been successfully developed and the controlled robot is capable of reaching a desired position by using the visual information provided by the ArUco markers detected within the camera field of view. The implementation has been validated with simulations and real experiments. The robot can perform additional tasks such as tracking and cyclic movements between different positions.<br /

Wearable Structured Light System in Non-Rigid Configuration

Traditionally, structured light methods have been studied in rigid configurations. In these configurations the position and orientation between the light emitter and the camera are fixed and known beforehand. In this paper we break with this rigidness and present a new structured light system in non-rigid configuration. This system is composed by a wearable standard perspective camera and a simple laser emitter. Our non-rigid configuration permits free motion of the light emitter with respect to the camera. The point-based pattern emitted by the laser permits us to easily establish correspondences between the image from the camera and a virtual one generated from the light emitter. Using these correspondences, our method computes rotation and translation up to scale of the planes of the scene where the point pattern is projected and reconstructs them. This constitutes a very useful tool for navigation applications in indoor environments, which are mainly composed of planar surfaces

Fitting line projections in non-central catadioptric cameras with revolution symmetry

Line-images in non-central cameras contain much richer information of the original 3D line than line projections in central cameras. The projection surface of a 3D line in most catadioptric non-central cameras is a ruled surface, encapsulating the complete information of the 3D line. The resulting line-image is a curve which contains the 4 degrees of freedom of the 3D line. That means a qualitative advantage with respect to the central case, although extracting this curve is quite difficult. In this paper, we focus on the analytical description of the line-images in non-central catadioptric systems with symmetry of revolution. As a direct application we present a method for automatic line-image extraction for conical and spherical calibrated catadioptric cameras. For designing this method we have analytically solved the metric distance from point to line-image for non-central catadioptric systems. We also propose a distance we call effective baseline measuring the quality of the reconstruction of a 3D line from the minimum number of rays. This measure is used to evaluate the different random attempts of a robust scheme allowing to reduce the number of trials in the process. The proposal is tested and evaluated in simulations and with both synthetic and real images

Control de robots móviles mediante visión omnidireccional utilizando la geometría de tres vistas

Este trabajo trata acerca del control visual de robot móviles. Dentro de este campo tan amplio de investigación existen dos elementos a los que prestaremos especial atención: la visión omnidireccional y los modelos geométricos multi-vista. Las cámaras omnidireccionales proporcionan información angular muy precisa, aunque presentan un grado de distorsión significativo en dirección radial. Su cualidad de poseer un amplio campo de visión hace que dichas cámaras sean apropiadas para tareas de navegación robótica. Por otro lado, el uso de los modelos geométricos que relacionan distintas vistas de una escena permite rechazar emparejamientos erróneos de características visuales entre imágenes, y de este modo robustecer el proceso de control mediante visión. Nuestro trabajo presenta dos técnicas de control visual para ser usadas por un robot moviéndose en el plano del suelo. En primer lugar, proponemos un nuevo método para homing visual, que emplea la información dada por un conjunto de imágenes de referencia adquiridas previamente en el entorno, y las imágenes que toma el robot a lo largo de su movimiento. Con el objeto de sacar partido de las cualidades de la visión omnidireccional, nuestro método de homing es puramente angular, y no emplea información alguna sobre distancia. Esta característica, unida al hecho de que el movimiento se realiza en un plano, motiva el empleo del modelo geométrico dado por el tensor trifocal 1D. En particular, las restricciones geométricas impuestas por dicho tensor, que puede ser calculado a partir de correspondencias de puntos entre tres imágenes, mejoran la robustez del control en presencia de errores de emparejamiento. El interés de nuestra propuesta reside en que el método de control empleado calcula las velocidades del robot a partir de información únicamente angular, siendo ésta muy precisa en las cámaras omnidireccionales. Además, presentamos un procedimiento que calcula las relaciones angulares entre las vistas disponibles de manera indirecta, sin necesidad de que haya información visual compartida entre todas ellas. La técnica descrita se puede clasificar como basada en imagen (image-based), dado que no precisa estimar la localización ni utiliza información 3D. El robot converge a la posición objetivo sin conocer la información métrica sobre la trayectoria seguida. Para algunas aplicaciones, como la evitación de obstáculos, puede ser necesario disponer de mayor información sobre el movimiento 3D realizado. Con esta idea en mente, presentamos un nuevo método de control visual basado en entradas sinusoidales. Las sinusoides son funciones con propiedades matemáticas bien conocidas y de variación suave, lo cual las hace adecuadas para su empleo en maniobras de aparcamiento de vehículos. A partir de las velocidades de variación sinusoidal que definimos en nuestro diseño, obtenemos las expresiones analíticas de la evolución de las variables de estado del robot. Además, basándonos en dichas expresiones, proponemos un método de control mediante realimentación del estado. La estimación del estado del robot se obtiene a partir del tensor trifocal 1D calculado entre la vista objetivo, la vista inicial y la vista actual del robot. Mediante este control sinusoidal, el robot queda alineado con la posición objetivo. En un segundo paso, efectuamos la corrección de la profundidad mediante una ley de control definida directamente en términos del tensor trifocal 1D. El funcionamiento de los dos controladores propuestos en el trabajo se ilustra mediante simulaciones, y con el objeto de respaldar su viabilidad se presentan análisis de estabilidad y resultados de simulaciones y de experimentos con imágenes reales

Weighted predictor-feedback formation control in local frames under time-varying delays and switching topology

This article presents a novel control strategy based on predictor-feedback delay compensation for multiagent systems to reach a prescribed target formation under unknown but bounded communication delays and switching communication topology. Both communication delays and network topology can be subjected to arbitrarily-fast time variations. The key idea is to implement predictor-feedback strategies using only relative measurements between agents expressed in each local agent's frame, with the aim to counteract the negative effect of time delays. Nevertheless, due to the decentralized nature of the control, the presence of time-varying delays and switching communication topology, only partial delay compensation is possible. Despite this, we show that better performance can be achieved with our proposal with respect to nonpredictor control schemes by introducing a weighting factor for predictor-feedback terms in the control law. Sufficient conditions based on Linear Matrix Inequalities for robust stability are also provided, which allow to easily design the controller parameters in order to maximize the speed of convergence. Finally, simulation results are provided to show the effectiveness of the proposed approach

Predictor-feedback synthesis in coordinate-free formation control under time-varying delays

This paper investigates new coordinate-free formation control strategies of multi-agent systems to overcome the negative effects of time delays. To this end, we present a single predictor-feedback scheme to compensate the multiple communication delays, assumed to be unknown but bounded and arbitrarily-fast time-varying. Although delays cannot exactly be compensated due to time-varying delay mismatches, the trade-off between robustness and convergence speed can be notably improved if the control gain is suitably designed. Hence, with the objective of enlarging the time-varying delay interval for a given convergence speed, an LMI-based iterative algorithm is presented to solve the control gain synthesis

Distributed relative localization using the multi-dimensional weighted centroid

A key problem in multi-agent systems is the distributed estimation of the localization of agents in a common reference from relative measurements. Estimations can be referred to an anchor node or, as we do here, referred to the weighted centroid of the multi-agent system. We propose a Jacobi Over—Relaxation method for distributed estimation of the weighted centroid of the multi-agent system from noisy relative measurements. Contrary to previous approaches, we consider relative multidimensional measurements with general covariance matrices not necessarily diagonal. We prove our weighted centroid method converges faster than anchor-based solutions. We also analyze the method convergence and provide mathematical constraints that ensure avoiding ringing phenomena

Detección y modelado de escaleras con sensor RGB-D para asistencia personal

La habilidad de avanzar y moverse de manera efectiva por el entorno resulta natural para la mayoría de la gente, pero no resulta fácil de realizar bajo algunas circunstancias, como es el caso de las personas con problemas visuales o cuando nos movemos en entornos especialmente complejos o desconocidos. Lo que pretendemos conseguir a largo plazo es crear un sistema portable de asistencia aumentada para ayudar a quienes se enfrentan a esas circunstancias. Para ello nos podemos ayudar de cámaras, que se integran en el asistente. En este trabajo nos hemos centrado en el módulo de detección, dejando para otros trabajos el resto de módulos, como podría ser la interfaz entre la detección y el usuario. Un sistema de guiado de personas debe mantener al sujeto que lo utiliza apartado de peligros, pero también debería ser capaz de reconocer ciertas características del entorno para interactuar con ellas. En este trabajo resolvemos la detección de uno de los recursos más comunes que una persona puede tener que utilizar a lo largo de su vida diaria: las escaleras. Encontrar escaleras es doblemente beneficioso, puesto que no sólo permite evitar posibles caídas sino que ayuda a indicar al usuario la posibilidad de alcanzar otro piso en el edificio. Para conseguir esto hemos hecho uso de un sensor RGB-D, que irá situado en el pecho del sujeto, y que permite captar de manera simultánea y sincronizada información de color y profundidad de la escena. El algoritmo usa de manera ventajosa la captación de profundidad para encontrar el suelo y así orientar la escena de la manera que aparece ante el usuario. Posteriormente hay un proceso de segmentación y clasificación de la escena de la que obtenemos aquellos segmentos que se corresponden con "suelo", "paredes", "planos horizontales" y una clase residual, de la que todos los miembros son considerados "obstáculos". A continuación, el algoritmo de detección de escaleras determina si los planos horizontales son escalones que forman una escalera y los ordena jerárquicamente. En el caso de que se haya encontrado una escalera, el algoritmo de modelado nos proporciona toda la información de utilidad para el usuario: cómo esta posicionada con respecto a él, cuántos escalones se ven y cuáles son sus medidas aproximadas. En definitiva, lo que se presenta en este trabajo es un nuevo algoritmo de ayuda a la navegación humana en entornos de interior cuya mayor contribución es un algoritmo de detección y modelado de escaleras que determina toda la información de mayor relevancia para el sujeto. Se han realizado experimentos con grabaciones de vídeo en distintos entornos, consiguiendo buenos resultados tanto en precisión como en tiempo de respuesta. Además se ha realizado una comparación de nuestros resultados con los extraídos de otras publicaciones, demostrando que no sólo se consigue una eciencia que iguala al estado de la materia sino que también se aportan una serie de mejoras. Especialmente, nuestro algoritmo es el primero capaz de obtener las dimensiones de las escaleras incluso con obstáculos obstruyendo parcialmente la vista, como puede ser gente subiendo o bajando. Como resultado de este trabajo se ha elaborado una publicación aceptada en el Second Workshop on Assitive Computer Vision and Robotics del ECCV, cuya presentación tiene lugar el 12 de Septiembre de 2014 en Zúrich, Suiza

Control orbital de robots móviles basado en visión por ordenador

El objetivo final del trabajo es la programación de un sistema de navegación para robots basado en la identificación de marcadores visuales. En concreto, se desarrollarán estrategias para la navegación autónoma girando en torno a una geometría con marcadores en su superficie y en torno a un único marcador colocado en el suelo.Para ello se diseñarán programas que detecten los marcadores, calculen la posición y orientación de la cámara con respecto a ellos y trasladen el robot de acuerdo a los datos obtenidos.<br /

Interfaz gestual de visión infrarroja para control de electrodomésticos

Resumen En la actualidad, son muchas las aplicaciones que emplean el reconocimiento gestual como interfaz para la comunicación humano-máquina. Esta modalidad de interacción se ha convertido en una alternativa fiable en campos como el de los videojuegos de realidad virtual, aplicaciones de domótica o incluso en la interfaz de coches de alta gama. Los electrodomésticos en general presentan una amplia variedad de opciones de uso que pueden conllevar que su control o programación sea tedioso mediante botonera o interfaz táctil. En el caso de los fogones o cocinas de inducción sucede que su interfaz táctil capacitiva no responde de forma adecuada si las manos del usuario no se encuentran limpias. Siendo habitual que el usuario se manche las manos mientras prepara la comida, el uso de la botonera táctil requiere múltiples pulsaciones y re-intentos dificultando por ejemplo la elección del fogón a utilizar o la programación del nivel de potencia deseado. Motivado por lo anterior, se propone el estudio e implementación de una interfaz de usuario basada en gestos aplicada al contexto de las cocinas de inducción. El sistema será capaz de detectar e interpretar los gestos del usuario de forma que se pueda interactuar sin contacto con la placa vitrocerámica. Como sistema de percepción se va utilizar visión infrarroja. El infrarrojo está en un rango dentro de las diferentes longitudes de onda de la luz, no perceptible para el ojo humano, pero que con las lentes apropiadas puede ser detectada y utilizada, sin resultar molesta para el usuario. La configuración del sistema a desarrollar para la iluminación y adquisición de la imagen infrarroja serán: una fuente de luz infrarroja regulable, constituida por diodos emisores de luz infrarroja colocados de forma que la iluminación se reparta de forma homogénea y una cámara monocromática, a la que incorporaremos un filtro de luz IR para la detección de la longitud de onda deseada. Gracias al circuito de iluminación desarrollado, el sistema será robusto ante cambios de iluminación ambiental. El desarrollo del código para la adquisición y procesamiento de las imágenes requiere el estudio de algoritmos de segmentación de objetos, así como la identificación de gestos. Se implementará una solución precisa y válida para el microprocesador utilizado, una Raspberry Pi 3 con un sistema operativo Linux y lenguaje de programación Python. Una vez construido el sistema de visión se comparará la adquisición de datos con respecto a la del sistema comercial de detección gestual “Leap Motion”. De esta forma se evaluará la eficiencia del sistema desarrollado a lo largo de este Trabajo Fin de Grado con respecto a las imágenes de un sistema comercial ampliamente reconocido. El producto final de este trabajo consiste en un dispositivo que implica el desarrollo del “hardware” y del código implementado, así como la evaluación del sistema mediante una demostración experimental en varias cocinas de inducción simuladas con distintos tipos de fogones en las que se probarán diferentes opciones de encendido y variación de potencia de los fogones con la interfaz creada